SMPLitex: A Generative Model and Dataset for 3D Human Texture Estimation from Single Image

We propose SMPLitex, a method for estimating and manipulating the complete 3D appearance of humans captured from a single image. SMPLitex builds upon the recently proposed generative models for 2D images, and extends their use to the 3D domain through pixel-to-surface correspondences computed on the input image. To this end, we first train a generative model for complete 3D human appearance, and then fit it into the input image by conditioning the generative model to the visible parts of the subject. Furthermore, we propose a new dataset of high-quality human textures built by sampling SMPLitex conditioned on subject descriptions and images. We quantitatively and qualitatively evaluate our method in 3 publicly available datasets, demonstrating that SMPLitex significantly outperforms existing methods for human texture estimation while allowing for a wider variety of tasks such as editing, synthesis, and manipulationComment: Accepted at BMVC 2023. Project website: https://dancasas.github.io/projects/SMPLite

GANerated Hands for Real-time 3D Hand Tracking from Monocular RGB

We address the highly challenging problem of real-time 3D hand tracking based on a monocular RGB-only sequence. Our tracking method combines a convolutional neural network with a kinematic 3D hand model, such that it generalizes well to unseen data, is robust to occlusions and varying camera viewpoints, and leads to anatomically plausible as well as temporally smooth hand motions. For training our CNN we propose a novel approach for the synthetic generation of training data that is based on a geometrically consistent image-to-image translation network. To be more specific, we use a neural network that translates synthetic images to "real" images, such that the so-generated images follow the same statistical distribution as real-world hand images. For training this translation network we combine an adversarial loss and a cycle-consistency loss with a geometric consistency loss in order to preserve geometric properties (such as hand pose) during translation. We demonstrate that our hand tracking system outperforms the current state-of-the-art on challenging RGB-only footage

PERGAMO: Personalized 3D Garments from Monocular Video

Clothing plays a fundamental role in digital humans. Current approaches to animate 3D garments are mostly based on realistic physics simulation, however, they typically suffer from two main issues: high computational run-time cost, which hinders their development; and simulation-to-real gap, which impedes the synthesis of specific real-world cloth samples. To circumvent both issues we propose PERGAMO, a data-driven approach to learn a deformable model for 3D garments from monocular images. To this end, we first introduce a novel method to reconstruct the 3D geometry of garments from a single image, and use it to build a dataset of clothing from monocular videos. We use these 3D reconstructions to train a regression model that accurately predicts how the garment deforms as a function of the underlying body pose. We show that our method is capable of producing garment animations that match the real-world behaviour, and generalizes to unseen body motions extracted from motion capture dataset.Comment: Published at Computer Graphics Forum (Proc. of ACM/SIGGRAPH SCA), 2022. Project website http://mslab.es/projects/PERGAMO

VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera

We present the first real-time method to capture the full global 3D skeletal pose of a human in a stable, temporally consistent manner using a single RGB camera. Our method combines a new convolutional neural network (CNN) based pose regressor with kinematic skeleton fitting. Our novel fully-convolutional pose formulation regresses 2D and 3D joint positions jointly in real time and does not require tightly cropped input frames. A real-time kinematic skeleton fitting method uses the CNN output to yield temporally stable 3D global pose reconstructions on the basis of a coherent kinematic skeleton. This makes our approach the first monocular RGB method usable in real-time applications such as 3D character control---thus far, the only monocular methods for such applications employed specialized RGB-D cameras. Our method's accuracy is quantitatively on par with the best offline 3D monocular RGB pose estimation methods. Our results are qualitatively comparable to, and sometimes better than, results from monocular RGB-D approaches, such as the Kinect. However, we show that our approach is more broadly applicable than RGB-D solutions, i.e. it works for outdoor scenes, community videos, and low quality commodity RGB cameras.Comment: Accepted to SIGGRAPH 201

How Will It Drape Like? Capturing Fabric Mechanics from Depth Images

We propose a method to estimate the mechanical parameters of fabrics using a casual capture setup with a depth camera. Our approach enables to create mechanically-correct digital representations of real-world textile materials, which is a fundamental step for many interactive design and engineering applications. As opposed to existing capture methods, which typically require expensive setups, video sequences, or manual intervention, our solution can capture at scale, is agnostic to the optical appearance of the textile, and facilitates fabric arrangement by non-expert operators. To this end, we propose a sim-to-real strategy to train a learning-based framework that can take as input one or multiple images and outputs a full set of mechanical parameters. Thanks to carefully designed data augmentation and transfer learning protocols, our solution generalizes to real images despite being trained only on synthetic data, hence successfully closing the sim-to-real loop.Key in our work is to demonstrate that evaluating the regression accuracy based on the similarity at parameter space leads to an inaccurate distances that do not match the human perception. To overcome this, we propose a novel metric for fabric drape similarity that operates on the image domain instead on the parameter space, allowing us to evaluate our estimation within the context of a similarity rank. We show that out metric correlates with human judgments about the perception of drape similarity, and that our model predictions produce perceptually accurate results compared to the ground truth parameters.Comment: 12 pages, 12 figures. Accepted to EUROGRAPHICS 2023. Project website: https://carlosrodriguezpardo.es/projects/MechFromDepth

Contagion dynamics in multilevel and structured populations.

Existen numerosos procesos de contagio sobre redes, como la propagación de epidemias, los rumores, la información u otros fenómenos no lineales propios de los sistemas complejos humanos. Desde la perspectiva de la modelización matemática, los procesos de contagio en poblaciones estructuradas se están volviendo cada vez más sofisticados en lo que respecta al tipo de interacciones no triviales involucradas en ellos. Los modelos han evolucionado desde los simples métodos compartimentales a modelos estructurados en los que se tienen en cuenta las heterogeneidades de la población. Además, para visualizar estas jerarquías y heterogeneidades de los sistemas complejos humanos, también consideramos la representación multicapa de las poblaciones. En esta tesis, intentamos explorar la punta del iceberg en lo que respecta a procesos de contagio sobre poblaciones basándonos en varios modelos matemáticos. Nuestro objetivo es entender la complejidad de las dinámicas de contagio en poblaciones estructuradas y multinivel.En el primer capítulo, nos centramos en presentar el desarrollo de algunas de las teorías principales que se utilizan para estudiar los sistemas complejos. El descubrimiento de las interacciones no lineales hizo que le método del reduccionismo fuese cuestionado, dado que el comportamiento general no puede describirse como una simple superposición de pequeñas escalas. La ciencia de redes busca caracterizar los sistemas complejos de diversos campos. Al mismo tiempo, la teoría de grafos proporciona las herramientas matemáticas necesarias para describir redes realistas. Discutiremos algunas de las cantidades fundamentales y las métricas más relevantes para la caracterización de la estructura de la red, así como varios ejemplos de modelos de red. Además, repasaremos brevemente los principios básicos de las redes multicapa que rompen la limitación de un solo tipo de conexión existente en las redes monocapa, estableciendo la base para explorar y generalizar estos conceptos.A continuación, estudiaremos procesos dinámicos comenzando por una breve introducción a los modelos matemáticos que se usarán durante el resto de la tesis. En el caso de la ecuación maestra, resaltaremos el rol de los procesos de Markov así como la aproximación de campo medio, sin centrarnos en sus soluciones completas. Los métodos de modelización y las reglas de actualización que se utilizan en las simulaciones numéricas también se presentan en detalle. En esta tesis, nos centraremos en el problema de la propagación de epidemias sobre redes, un tema que despierta gran interés en el campo de los procesos de propagación y contagio. Después de revisar las propiedades y los resultados teóricos de algunos de los modelos epidemiológicos típicos, con varias simplificaciones desde el punto de vista matemático, exploraremos varias medidas importantes en el campo de la epidemiología, i.e., el número reproductivo básico y la inmunidad de grupo. Después, implementaremos un modelo clásico de epidemias sobre redes multicapa para explorar el papel que juega la direccionalidad utilizando funciones generatrices. Terminaremos el capítulo 2 modelizando un tipo especial de procesos de contagio social, en particular, utilizaremos un modelo compartimental para estudiar la propagación de la corrupción. Prestaremos atención a las condiciones críticas para que surja este tipo de comportamiento desarrollando la aproximación de campo medio y comparando sus predicciones con simulaciones. Es más, extenderemos el modelo de corrupción a un sistema de dos capas en el que los flujos de contagio pueden ser diferentes en cada capa para investigar el papel que juega el solapamiento de enlaces y las correlaciones de grado entre capas en la evolución de las actividades honestas y corruptas.Resulta evidente que la complejidad de los sistemas humanos del mundo real afecta la precisión con la que se pueden predecir las epidemias y algunas propiedades específicas de los sistemas. Sin embargo, debido al desarrollo de la ciencia de datos, fuentes de datos masivas y muy informativas pueden utilizarse para enriquecer la topología de la red de forma que se acerque a los sistemas reales. En al tercera parte de esta tesis, comenzaremos describiendo los retos y las oportunidades que han surgido durante el desarrollo de la ciencia de datos. A continuación, intentaremos conseguir una imagen más realista de la estructura interna de las redes de contacto utilizando datos reales. Además, ilustraremos la importancia de utilizar una perspectiva conducida por los datos en lo que respecta a la modelización de redes a la hora de estudiar la propagación de epidemias en redes de contacto. En este caso, la variabilidad de patrones de interacción que surge de la heterogeneidad de la población, sus comportamientos sociales, etc. puede ser capturada correctamente.Bajo este mismo desarrollo teórico, consideraremos la edad de los individuos y sus patrones de interacción social para generar redes multicapa con estructura de edad para estudiar el problema de la inmunidad de grupo del SARS-CoV-2 y evaluar el impacto que tres estrategias de vacunación pueden tener a la hora de eliminar la transmisión de la panedmia. Después, para explorar la dinámica de las enfermedades que se propagan en entornos hospitalarios (HAI, por sus siglas en inglés) cuando los pacientes están recibiendo tratamiento en ellos, utilizaremos una colección de datos espacio-temporales recogida en tres hospitales de Canadá para generar las redes de interacción entre los trabajadores hospitalarios (HCWs). Nos centraremos en determinar cuantitativemente el riesgo de que las HAIs se propaguen por las diferentes unidades de un hospital y los varios grupos de HCWs, respectivamente. Calcularemos el riesgo de las unidades espaciales usando el tiempo de llegada de la enfermedad y el número de infecciones producidas en cada unidad. En el caso de los HCWs, la probabilidad de infectarse y el número de reproducción efectivo son usados como indicador del riesgo de HCWs.Concluiremos la tesis presentando nuestras conclusiones y discutiendo algunos de los restos que quedan por explorar en el futuro.<br /